Recent advances in neural approaches greatly improve task-oriented dialogue (TOD) systems which assist users to accomplish their goals. However, such systems rely on costly manually labeled dialogs which are not available in practical scenarios. In this paper, we present our models for Track 2 of the SereTOD 2022 challenge, which is the first challenge of building semi-supervised and reinforced TOD systems on a large-scale real-world Chinese TOD dataset MobileCS. We build a knowledge-grounded dialog model to formulate dialog history and local KB as input and predict the system response. And we perform semi-supervised pre-training both on the labeled and unlabeled data. Our system achieves the first place both in the automatic evaluation and human interaction, especially with higher BLEU (+7.64) and Success (+13.6\%) than the second place.
translated by 谷歌翻译
文本到SQL解析是一项必不可少且具有挑战性的任务。文本到SQL解析的目的是根据关系数据库提供的证据将自然语言（NL）问题转换为其相应的结构性查询语言（SQL）。来自数据库社区的早期文本到SQL解析系统取得了显着的进展，重度人类工程和用户与系统的互动的成本。近年来，深层神经网络通过神经生成模型显着提出了这项任务，该模型会自动学习从输入NL问题到输出SQL查询的映射功能。随后，大型的预训练的语言模型将文本到SQL解析任务的最新作品带到了一个新级别。在这项调查中，我们对文本到SQL解析的深度学习方法进行了全面的评论。首先，我们介绍了文本到SQL解析语料库，可以归类为单转和多转。其次，我们提供了预先训练的语言模型和现有文本解析方法的系统概述。第三，我们向读者展示了文本到SQL解析所面临的挑战，并探索了该领域的一些潜在未来方向。
translated by 谷歌翻译
语义细分是一种关键技术，涉及高分辨率遥感（HRS）图像的自动解释，并引起了遥感社区的广泛关注。由于其层次表示能力，深度卷积神经网络（DCNN）已成功应用于HRS图像语义分割任务。但是，对大量培训数据的严重依赖性以及对数据分布变化的敏感性严重限制了DCNNS在HRS图像的语义分割中的潜在应用。这项研究提出了一种新型的无监督域适应性语义分割网络（MemoryAdaptnet），用于HRS图像的语义分割。 MemoryAdaptnet构建了一种输出空间对抗学习方案，以弥合源域和目标域之间的域分布差异，并缩小域移位的影响。具体而言，我们嵌入了一个不变的特征内存模块来存储不变的域级上下文信息，因为从对抗学习获得的功能仅代表当前有限输入的变体特征。该模块由类别注意力驱动的不变域级上下文集合模块集成到当前伪不变功能，以进一步增强像素表示。基于熵的伪标签滤波策略用于更新当前目标图像的高额伪不变功能的内存模块。在三个跨域任务下进行的广泛实验表明，我们提出的记忆ADAPTNET非常优于最新方法。
translated by 谷歌翻译
视觉变压器（VIT）正在出现，并且在计算机视觉任务中的准确性显着提高。但是，它们的复杂架构和巨大的计算/存储需求对新硬件加速器设计方法施加了紧迫的需求。这项工作提出了基于提议的混合速度量化的FPGA感知自动VIT加速框架。据我们所知，这是探索模型量化的第一个基于FPGA的VIT加速框架。与最先进的VIT量化工作（仅无硬件加速的算法方法）相比，我们的量化在相同的位宽度下可实现0.47％至1.36％的TOP-1精度。与32位浮点基线FPGA加速器相比，我们的加速器在框架速率上的提高约为5.6倍（即56.8 fps vs. 10.0 fps），对于DeitBase的ImagEnet数据集，精度下降了0.71％。
translated by 谷歌翻译
基于观察到的图，对在关系结构数据上应用机器学习技术的兴趣增加了。通常，该图并不能完全代表节点之间的真实关系。在这些设置中，构建以观测图为条件的生成模型可以考虑图形不确定性。各种现有技术要么依赖于限制性假设，无法在样品中保留拓扑特性，要么在较大的图表中昂贵。在这项工作中，我们介绍了用于通过图形构建分布的节点复制模型。随机图的采样是通过替换每个节点的邻居的邻居来进行采样的。采样图保留图形结构的关键特征，而无需明确定位它们。此外，该模型的采样非常简单，并与节点线性缩放。我们在三个任务中显示了复制模型的有用性。首先，在节点分类中，基于节点复制的贝叶斯公式在稀疏数据设置中实现了更高的精度。其次，我们采用建议的模型来减轻对抗攻击对图形拓扑的影响。最后，将模型纳入推荐系统设置，改善了对最新方法的回忆。
translated by 谷歌翻译
伪装的对象检测（COD）旨在识别自然场景中隐藏自己的物体。准确的COD遭受了许多与低边界对比度有关的挑战，并且对象出现（例如对象大小和形状）的较大变化。为了应对这些挑战，我们提出了一种新颖的背景感知跨层次融合网络（C2F-net），该网络融合了上下文感知的跨级特征，以准确识别伪装的对象。具体而言，我们通过注意力诱导的跨融合模块（ACFM）来计算来自多级特征的内容丰富的注意系数，该模块（ACFM）进一步在注意系数的指导下进一步集成了特征。然后，我们提出了一个双分支全局上下文模块（DGCM），以通过利用丰富的全球上下文信息来完善内容丰富的功能表示的融合功能。多个ACFM和DGCM以级联的方式集成，以产生高级特征的粗略预测。粗糙的预测充当了注意力图，以完善低级特征，然后再将其传递到我们的伪装推断模块（CIM）以生成最终预测。我们对三个广泛使用的基准数据集进行了广泛的实验，并将C2F-NET与最新模型（SOTA）模型进行比较。结果表明，C2F-NET是一种有效的COD模型，并且表现出明显的SOTA模型。此外，对息肉细分数据集的评估证明了我们在COD下游应用程序中C2F-NET的有希望的潜力。我们的代码可在以下网址公开获取：https：//github.com/ben57882/c2fnet-tscvt。
translated by 谷歌翻译
示例性类增量学习需要分类模型来逐步学习新的类知识，而无需保留任何旧样本。最近，基于并行单级分类器（POC）的框架，它为每个类别独立地列举单级分类器（OCC），引起了广泛的关注，因为它可以自然避免灾难性的遗忘。然而，由于其不同OOC的独立培训策略，POC遭受了弱歧视性和可比性。为满足这一挑战，我们提出了一个新的框架，命名为判别和可比单级分类器，用于增量学习（Discoil）。 Discoil遵循POC的基本原理，但它采用变分自动编码器（VAE）而不是其他良好的一流的单级分类器（例如，深度SVDD），因为训练VAE不仅可以识别属于输入样本的概率一个班级，但也会生成课程的伪样本，以协助学习新任务。通过这种优势，与旧级别的VAE相比，Discoil列举了一个新的VAE，这迫使新级VAE为新级样本重建，但对于旧级伪样本更糟糕，从而提高了可比性。此外，Discoil引入了铰链重建损失以确保辨别性。我们在MNIST，CIFAR10和TINY-ImageNet中广泛评估我们的方法。实验结果表明，Discoil实现了最先进的性能。
translated by 谷歌翻译
最近训练模型通过利用大规模文本语料库来改善神经网络的上下文表示能力，显着提高了各种NLP任务的性能。大型预培训语言模型也已应用于表语义解析的区域。然而，现有的预训练方法没有仔细探索问题与相应的数据库模式之间的明确互动关系，这是揭示其语义和结构对应的关键成分。此外，在架构接地背景下的问知表示学习在预训练目标中受到更少的关注。为了减轻这些问题，本文设计了两种新的预训练目标，将所需的归纳偏差将所需的归纳偏差施加到表前的学习表现-训练。我们进一步提出了一种模式感知课程学习方法来减轻噪声的影响，并以易于努力的方式从预训练数据中学习。我们通过在两个基准，蜘蛛和罢工中进行微调，评估我们预先接受训练的框架。结果表明，与各种基线相比，我们的预训练目标和课程的有效性。
translated by 谷歌翻译
Text-to-SQL旨在将自然语言问题映射到SQL查询。基于草图的方法与执行引导的（例如）解码策略相结合，在WikiSQL基准上显示了强烈性能。然而，执行引导的解码依赖于数据库执行，这显着降低了推理过程，因此对于许多真实世界的应用程序来说是不令人满意的。在本文中，我们介绍了模式依赖性指导多任务文本到SQL模型（SDSQL）来指导网络以有效地捕获问题和模式之间的交互。所提出的模型优先于两个设置中的所有现有方法，而且没有例如例如。我们展示了架构依赖学习部分涵盖了诸如益处，例如，减轻了对它的需求。没有例如在推理期间显着减少时间消耗的SDSQL，仅牺牲少量性能，并为下游应用提供更多的灵活性。
translated by 谷歌翻译
2023-01-01
As natural language processing (NLP) for gender bias becomes a significant interdisciplinary topic, the prevalent data-driven techniques such as large-scale language models suffer from data inadequacy and biased corpus, especially for languages with insufficient resources such as Chinese. To this end, we propose a Chinese cOrpus foR Gender bIas Probing and Mitigation CORGI-PM, which contains 32.9k sentences with high-quality labels derived by following an annotation scheme specifically developed for gender bias in the Chinese context. Moreover, we address three challenges for automatic textual gender bias mitigation, which requires the models to detect, classify, and mitigate textual gender bias. We also conduct experiments with state-of-the-art language models to provide baselines. To our best knowledge, CORGI-PM is the first sentence-level Chinese corpus for gender bias probing and mitigation.
translated by 谷歌翻译